# signals 信号

# scrapy内置信号
"""
engine_started：当Scrapy引擎启动爬取时发送该信号。


engine_stopped ： 当Scrapy引擎停止时发送该信号(例如，爬取结束)。


item_scraped  ：
    当item被爬取，并通过所有 Item Pipeline 后(没有被丢弃(dropped)，发送该信号。
    scrapy.signals.item_scraped(item, response, spider)：
        item (Item 对象) – 爬取到的item
        spider (Spider 对象) – 爬取item的spider
        response (Response 对象) – 提取item的response


item_dropped ：
    当item通过 Item Pipeline ，有些pipeline抛出 DropItem 异常，丢弃item时，该信号被发送。
    scrapy.signals.item_dropped(item, exception, spider)
        item (Item 对象) – Item Pipeline 丢弃的item
        spider (Spider 对象) – 爬取item的spider
        exception (DropItem 异常) – 导致item被丢弃的异常(必须是 DropItem 的子类)
        
    
spider_closed：
    当某个spider被关闭时，该信号被发送。该信号可以用来释放每个spider在 spider_opened 时占用的资源。
    scrapy.signals.spider_closed(spider, reason)
        spider (Spider 对象) – 关闭的spider
        reason (str) – 描述spider被关闭的原因的字符串。如果spider是由于完成爬取而被关闭，则其为 'finished' 。否则，如果spider是被引擎的 close_spider 方法所关闭，则其为调用该方法时传入的 reason 参数(默认为 'cancelled')。如果引擎被关闭(例如， 输入Ctrl-C)，则其为 'shutdown' 。


spider_opened ：
    当spider开始爬取时发送该信号。该信号一般用来分配spider的资源，不过其也能做任何事。
    scrapy.signals.spider_opened(spider)

spider_idle：
    当spider进入空闲(idle)状态时该信号被发送。空闲状态指:
        requests正在等待被下载
        requests被调度
        items正在item pipeline中被处理
当该信号的所有处理器(handler)被调用后，如果spider仍然保持空闲状态， 引擎将会关闭该spider。当spider被关闭后， spider_closed 信号将被发送。
可以在 spider_idle 处理器中调度某些请求来避免spider被关闭。


spider_error
    当spider的回调函数产生错误时(例如，抛出异常)，该信号被发送。
    scrapy.signals.spider_error(failure, response, spider)
        failure (Failure 对象) – 以Twisted Failure 对象抛出的异常
        response (Response 对象) – 当异常被抛出时被处理的response
        spider (Spider 对象) – 抛出异常的spider
        
request_scheduled：
    当引擎调度一个 Request 对象用于下载时，该信号被发送。
    scrapy.signals.request_scheduled(request, spider)
        request (Request 对象) – 到达调度器的request
        spider (Spider 对象) – 产生该request的spider
        
        
request_dropped
    当调度器拒绝稍后将要下载的请求时发送。
    scrapy.signals.request_dropped(request, spider)


response_received
    当引擎从downloader获取到一个新的 Response 时发送该信号。
    scrapy.signals.response_received(response, request, spider)
        response (Response 对象) – 接收到的response
        request (Request 对象) – 生成response的request
        spider (Spider 对象) – response所对应的spider
        
response_downloaded
    当一个 HTTPResponse 被下载时，由downloader发送该信号。
    scrapy.signals.response_downloaded(response, request, spider)
        response (Response 对象) – 下载的response
        request (Request 对象) – 生成response的request
        spider (Spider 对象) – response所对应的spider

"""
# 具体使用见实例
